De geschiedenis van dit imposante bouwwerk gaat terug tot de vroege middeleeuwen. In die tijd bestond het kasteel waarschijnlijk slechts uit de slottoren die nu het centrale deel vormt en was het bezit van een klooster in Prüm, net over de Duitse grens.
Het kasteel kwam omstreeks 1360 in handen van de Luxemburgse familie d'Ouren. Tot het begin van de 18de eeuw bleef in het handen van deze familie.
Door de eeuwen heen wordt de middeleeuwse burcht geleidelijk verbouwd naar een prachtig renaissancekasteel. Van de oude burcht werden twee ronde torens afgebroken en vervangen door bijgebouwen. Rondom de centrale slottoren werd een muur gebouwd met aan elk van de hoeken een ronde toren, terwijl de toren zelf stilaan omgebouwd werd tot woonplaats.
Als in 1730 Jean Francois baron d’Ouren sterft laat hij het kasteel na aan de tweede zoon van zijn zuster, Hubert Sebastian baron van Dobbelstein d´Eyenbourg. In 1811 sterft ook deze familie uit en gaat het kasteel over naar een neef, Gabriel Auguste, graaf de Ludre. Deze verkoopt het kasteel in 1824 aan een rijke leerlooier uit Stavelot. In 1982, werd het kasteel verkocht aan Annette Vanwelden door Josephine Marie-Marguerite Lemaire, weduwe van Edouard Le Maire.
In 1998 komt het Château de Tavigny in handen van het Nederlands echtpaar, Henk de Vries en Nelleke Bos die het gebruiken als kunst- en cultuurcentrum, voor o.m. evenementen met internationale kunstenaars.